Meta의 Fairseq 시퀀스 모델링 연구를 위한 고성능 툴킷

Meta의 Fairseq 시퀀스 모델링 연구를 위한 고성능 툴킷

1. 서론: 시퀀스 모델링 연구의 가속화, Fairseq의 등장과 의의

2010년대 중반, 신경망 기계 번역(Neural Machine Translation, NMT)의 성공을 필두로 시퀀스-투-시퀀스(Sequence-to-Sequence, Seq2Seq) 모델은 자연어 처리(NLP) 분야의 핵심 패러다임으로 급부상했다. 이 시기 연구자들은 어텐션 메커니즘(Attention Mechanism)과 트랜스포머(Transformer)와 같은 새로운 아키텍처를 신속하게 구현하고, 대규모 데이터셋으로 효율적인 실험을 수행하며, 그 결과를 신뢰성 있게 재현할 수 있는 강력한 도구를 절실히 필요로 했다.1 당시 OpenNMT, Tensor2Tensor, MarianNMT 등 여러 툴킷이 존재했지만, 각각 커뮤니티 기반의 확장성, C++를 활용한 고속 추론, 혹은 제품화 준비 상태 등 특정 목표에 집중하는 경향이 있었다.2 특히 학계와 연구 커뮤니티에서는 PyTorch가 제공하는 유연성을 십분 활용하면서도, 산업계 수준의 고성능 분산 학습과 용이한 실험 확장을 지원하는 프레임워크에 대한 수요가 팽배했다.

이러한 배경 속에서 2019년, Meta AI(당시 Facebook AI Research, FAIR)는 연구 커뮤니티의 요구에 부응하는 Fairseq을 공개했다.3 Fairseq의 핵심 가치 제안은 속도(Fast), 확장성(Extensible), 그리고 **재현성(Reproducibility)**이라는 세 가지 축으로 요약된다. 이는 PyTorch를 기반으로 하면서도 5, 다중 GPU 및 다중 노드 분산 학습, 혼합 정밀도(mixed-precision) 학습과 같은 고성능 기능을 내장하고 7, 새로운 모델, 손실 함수, 학습 과제(Task)를 플러그인(plug-in) 형태로 손쉽게 추가할 수 있는 모듈식 구조를 제공함으로써 달성되었다.9

단순한 또 하나의 툴킷을 넘어, Fairseq의 본질적인 기여는 FAIR에서 탄생한 선구적인 연구들의 공식 참조 구현체(reference implementation) 역할을 수행한 데 있다. 이는 강력한 선순환 구조를 만들어냈다. FAIR은 BART, RoBERTa, wav2vec 2.0과 같은 최첨단 모델을 개발함과 동시에, 해당 모델들을 학습시키는 데 사용된 고성능 코드를 Fairseq 프레임워크를 통해 그대로 공개했다. 이러한 접근 방식은 전 세계 연구 커뮤니티가 최신 연구 결과를 재현하고, 검증하며, 그 위에 새로운 아이디어를 구축하는 데 필요한 장벽을 극적으로 낮추었다. 결과적으로 Fairseq은 단순한 유틸리티의 역할을 넘어, 최첨단 기술을 산업 연구소에서 전 세계 학계로 이전하는 핵심 통로이자 연구의 공통된 기준점을 제시하는 필수적인 연구 인프라로 자리매김하며 NLP 분야 전체의 발전을 가속화했다.

2. Fairseq의 설계 철학과 핵심 아키텍처 분석

2.1 확장성을 위한 모듈식 설계: 5대 핵심 컴포넌트

Fairseq의 아키텍처는 연구자가 기존 코드를 최대한 재사용하면서 새로운 아이디어를 신속하게 실험할 수 있도록 설계되었다. 이를 위해 프레임워크는 다섯 가지 핵심 플러그인 컴포넌트를 중심으로 구축되었으며, 이 모듈식 구조는 Fairseq의 핵심적인 설계 철학을 반영한다.9

  • Model: 신경망의 아키텍처를 정의하고 학습 가능한 모든 파라미터를 캡슐화하는 컴포넌트다. 모든 모델은 torch.nn.Module을 상속받는 BaseFairseqModel 클래스를 확장하며, 일반적인 인코더-디코더 구조를 위한 FairseqEncoderDecoderModel과 같은 구체적인 하위 클래스를 제공한다.9 사용자는 커맨드 라인에서 --arch 인자를 통해 transformer, fconv 등 사전에 정의된 아키텍처를 선택할 수 있으며, @register_model 데코레이터를 사용하여 완전히 새로운 모델을 프레임워크에 손쉽게 등록할 수 있다.10

  • Criterion: 모델의 출력과 실제 정답(target) 배치를 입력으로 받아 손실(loss) 값을 계산하는 역할을 전담한다. 이는 loss = criterion(model, batch)라는 명확한 인터페이스로 추상화된다.9 CrossEntropyCriterion, LabelSmoothedCrossEntropyCriterion 등 다양한 표준 손실 함수가 구현되어 있으며, 연구자는 특정 최적화 목표에 맞는 새로운 손실 함수를 정의하고 등록하여 사용할 수 있다.14 이러한 설계는 모델 아키텍처의 변경과 최적화 목표의 변경을 서로 독립적으로 수행할 수 있도록 보장한다.

  • Task: 학습 과정 전체를 총괄하는 지휘자 역할을 수행한다. 구체적으로 데이터셋의 로딩 및 배치(batch) 구성, 어휘 사전(dictionary) 관리, 그리고 주어진 설정에 맞는 Model과 Criterion의 초기화 및 전체 학습 루프(training loop)의 정의를 담당한다.8 TranslationTask, LanguageModelingTask 등 특정 과업에 맞춰진 Task가 제공되며, 이는 데이터 처리 방식부터 모델과 손실 함수의 최종 조합까지 학습의 모든 측면을 결정한다.15

  • Optimizer와 Learning Rate Scheduler: PyTorch에서 제공하는 표준 옵티마이저들을 감싸는 래퍼(wrapper) 클래스와 inverse_sqrt, cosine 등 다양한 학습률 스케줄링 정책을 제공한다. 이를 통해 연구자는 모델 학습의 동역학(training dynamics)을 세밀하게 제어하고 최적화할 수 있다.9

2.2 컴포넌트 간의 상호작용: 학습 파이프라인의 재구성

Fairseq의 학습 파이프라인은 Task 컴포넌트를 중심으로 유기적으로 동작한다. 학습이 시작되면(fairseq-train 실행 시), 프레임워크는 먼저 --task 인자로 지정된 Task를 설정한다. 이 Task 객체는 자신의 build_model() 및 build_criterion() 메서드를 호출하여, 커맨드 라인 인자(args)에 명시된 설정에 맞는 Model과 Criterion 인스턴스를 동적으로 생성하고 초기화한다.15

학습 루프의 제어 또한 Task의 책임이다. Task는 지정된 데이터셋을 로드하고 배치 반복자(batch iterator)를 생성한다. 각 학습 스텝(step)마다 task.train_step() 메서드가 호출되며, 이 메서드 내부에서 loss = criterion(model, batch)를 통해 손실이 계산되고, optimizer.backward(loss)를 통해 그래디언트 역전파가 수행된다.10 이러한 구조는 학습의 핵심 로직을 Task 내에 집중시켜 일관성을 유지하게 한다.

이 아키텍처의 가장 강력한 측면 중 하나는 사용자 정의 확장의 용이성이다. 연구자는 새로운 모델, 손실 함수, 혹은 태스크를 별도의 파이썬 파일에 정의하고, 각각에 맞는 @register_* 데코레이터를 클래스 위에 추가하기만 하면 된다. 이후, 커맨드 라인에서 --user-dir 인자로 해당 파이썬 파일이 위치한 디렉토리를 지정하면, Fairseq은 이를 자동으로 인식하여 마치 내장 컴포넌트처럼 사용할 수 있게 해준다.10 이는 Fairseq 코어 라이브러리를 직접 수정하거나 fork할 필요 없이, 연구자 자신의 코드를 독립적으로 관리하면서 프레임워크의 모든 기능을 활용할 수 있게 하는 매우 유연하고 강력한 기능이다.

Task, Model, Criterion의 엄격한 분리는 단순히 깔끔한 코드 설계를 넘어, NLP 연구가 단일 번역 과제를 넘어 다중 과제, 다중 모달로 확장될 미래를 예견한 의도적인 선택이었다. 초기 NLP 툴킷들은 종종 특정 과제(예: NMT)에 강하게 결합되어 있어, 이를 요약이나 대화 생성 같은 다른 과제에 적용하려면 상당한 코드 리팩토링이 필요했다. 반면 Fairseq은 Task를 데이터 로딩 방식, 배치의 형태, 학습 절차 등 ‘문제 설정’ 자체를 정의하는 중앙 지휘자로 설계했다.15

Model은 단순히 순전파(forward pass)를 정의하고, Criterion은 손실 계산만을 담당하므로, 입력 텐서의 형태만 맞다면 데이터의 출처(텍스트, 음성 등)에 구애받지 않는다. 이 덕분에 Fairseq S2T와 같은 음성-텍스트(speech-to-text) 확장이 가능했다. 새로운 SpeechToTextTask는 오디오 특징 추출과 배치를 처리하도록 정의되었지만, 기존의 TransformerModel을 재사용하고 CTC(Connectionist Temporal Classification)와 같은 새로운 Criterion을 손쉽게 통합할 수 있었다.17 더 나아가 심전도(ECG) 데이터 처리를 위한

fairseq-signals와 같은 프로젝트는 이 아키텍처가 완전히 다른 도메인으로 확장될 수 있는 잠재력을 입증한다.20 따라서 Fairseq의 아키텍처는 향후 NLP 및 시퀀스 모델링 커뮤니티에서 폭발적으로 증가한 다중 모달, 다중 과제 연구에 필요한 근본적인 모듈성을 제공한 선구적인 설계였다.

컴포넌트역할주요 클래스/데코레이터관련 CLI 파라미터
Model신경망 아키텍처 정의, 학습 파라미터 캡슐화BaseFairseqModel, FairseqEncoderDecoderModel, @register_model--arch
Criterion모델 출력과 정답 기반 손실 함수 계산FairseqCriterion, LabelSmoothedCrossEntropyCriterion, @register_criterion--criterion
Task데이터 로딩, 배치화, 모델/손실 함수 빌드, 학습 루프 제어FairseqTask, TranslationTask, @register_task--task
Optimizer모델 파라미터 업데이트FairseqOptimizer (PyTorch 옵티마이저 래퍼)--optimizer
LR Scheduler학습률 동적 조정FairseqLRScheduler--lr-scheduler

3. 고성능을 위한 최적화 기술 심층 탐구

3.1 분산 학습 전략: 대규모 모델과 데이터셋의 정복

Fairseq은 대규모 모델과 데이터셋을 효율적으로 처리하기 위해 설계 초기부터 고성능 분산 학습을 핵심 기능으로 채택했다.

  • 다중 GPU 및 다중 노드 학습: 단일 머신 내의 다중 GPU 활용은 물론, 여러 머신에 걸친 대규모 분산 학습을 기본적으로 지원한다.5 이는 PyTorch의 분산 통신 라이브러리인 torch.distributed와 고성능 GPU 통신을 위한 NVIDIA의 NCCL2 라이브러리를 기반으로 구현되었다.9 주로 데이터 병렬(Data Parallel) 방식이 사용되는데, 각 GPU(워커)는 모델의 전체 복사본을 가지고 데이터의 일부(sub-batch)를 독립적으로 처리한 후, 계산된 그래디언트를 모든 워커 간에 동기화(All-Reduce 연산)하여 모델 파라미터를 동일하게 업데이트한다.2

  • 그래디언트 동기화 최적화: 동기식 분산 학습에서는 모든 워커가 그래디언트 계산을 마칠 때까지 가장 느린 워커를 기다려야 하므로 GPU 유휴 시간(idle time)이 발생한다. Fairseq은 이 문제를 완화하기 위해 그래디언트 계산과 동기화 과정을 중첩(overlap)시키는 기법을 구현했다. 구체적으로, 모델의 특정 레이어에서 역전파가 완료되어 그래디언트가 계산되면, 이를 즉시 버퍼에 추가한다. 이 버퍼의 크기가 미리 정의된 임계값에 도달하면, 백그라운드 스레드에서 해당 그래디언트들의 동기화 작업을 시작한다. 그동안 메인 스레드는 멈추지 않고 다음 레이어의 역전파 계산을 계속 진행한다. 이 방식은 통신 시간을 계산 시간 뒤에 숨겨 전체 학습 시간을 단축시킨다.2

  • 그래디언트 누적 (Gradient Accumulation): 여러 sub-batch에 대한 그래디언트를 각 GPU의 로컬 메모리에 누적한 뒤, 정해진 횟수만큼 누적이 끝나면 한 번에 파라미터를 업데이트하는 방식이다.7 이 기법은 두 가지 중요한 이점을 제공한다. 첫째, GPU 메모리 제약으로 인해 큰 배치를 사용할 수 없는 경우에도, 작은 배치들로 여러 번 그래디언트를 계산하여 누적함으로써 큰 유효 배치 크기(effective batch size)로 학습하는 것과 동일한 효과를 낼 수 있다. 둘째, 분산 학습 환경에서 각 GPU가 여러 sub-batch를 처리한 후 단 한 번만 통신(그래디언트 동기화)하므로, 워커 간의 동기화 빈도가 줄어든다. 이는 네트워크 통신 오버헤드를 크게 감소시키고, 일부 워커가 일시적으로 느려지는 현상(straggler)의 영향을 최소화하여 전체적인 학습 효율을 높인다.2

3.2 메모리 및 속도 효율성 극대화

  • 혼합 정밀도 (Mixed Precision) 학습: NVIDIA의 Tensor Core가 탑재된 최신 GPU 아키텍처의 성능을 최대한 활용하기 위한 기술이다. 기존의 32비트 부동소수점(float32) 연산 대신, 16비트 부동소수점(float16)을 주로 사용하여 연산을 수행한다. 이는 GPU 메모리 사용량을 절반으로 줄이고, Tensor Core를 활용하여 연산 속도를 크게 향상시킨다.5 Fairseq은 --fp16 플래그를 통해 이 기능을 손쉽게 활성화할 수 있으며 23,

float16 연산 시 발생할 수 있는 작은 그래디언트 값의 소실 문제를 막기 위한 손실 스케일링(loss scaling) 기법도 자동으로 처리한다. 이 기술은 수십억 개의 파라미터를 가진 대규모 Transformer 모델 학습에 필수적인 요소로 자리 잡았다.

  • FSDP (Fully Sharded Data Parallel) 및 CPU 오프로딩: 데이터 병렬 학습의 메모리 한계를 극복하기 위한 최신 기술이다. 기존의 데이터 병렬 방식에서는 각 GPU가 모델 파라미터 전체를 복제하여 보유해야 했지만, FSDP는 모델 파라미터, 그래디언트, 옵티마이저 상태까지 모든 데이터 병렬 워커(GPU)에 걸쳐 잘게 분할(shard)하여 저장한다.7 각 GPU는 자신이 담당하는 파라미터 샤드(shard)만 보유하고, 순전파 및 역전파 시 필요한 다른 파라미터 샤드를 다른 GPU로부터 통신을 통해 가져온다. 이 방식은 각 GPU의 메모리 사용량을 극적으로 줄여, 단일 GPU에는 도저히 올라가지 않는 거대한 모델의 학습을 가능하게 한다. Fairseq은 더 나아가, 현재 계산에 사용되지 않는 파라미터나 옵티마이저 상태를 GPU 메모리에서 CPU의 주 메모리로 임시 이동시키는 오프로딩(offloading) 기능까지 지원하여, 가용한 모든 시스템 리소스를 활용해 모델 크기의 한계를 더욱 확장한다.7

3.3 고속 추론을 위한 기법

  • 점진적 디코딩 (Incremental Decoding): Transformer와 같은 자기회귀(autoregressive) 모델은 다음 토큰을 생성하기 위해 이전에 생성된 모든 토큰을 다시 입력으로 사용해야 하므로, 순진하게 구현하면 추론 속도가 매우 느리다. 점진적 디코딩은 이 문제를 해결하는 핵심 기술이다. 디코더가 다음 토큰을 예측할 때, 이전 타임스텝들에서 계산된 어텐션 레이어의 key-value 상태(state)를 캐싱(caching)해두고, 현재 타임스텝에서는 새로운 토큰에 대한 key-value 값만 계산하여 캐시에 추가한다. 이를 통해 중복 계산을 완전히 제거하여 추론 속도를 수십 배 이상 향상시킬 수 있다.2

  • 다양한 탐색 알고리즘: Fairseq은 텍스트 생성의 품질과 다양성을 제어하기 위해 여러 고급 탐색(search) 알고리즘을 구현하여 제공한다.7

  • 빔 서치 (Beam Search): 각 스텝에서 가장 확률이 높은 k개의 후보 시퀀스(beam)를 유지하며 탐색하는, 가장 널리 쓰이는 고품질 디코딩 전략이다.7

  • 다양한 빔 서치 (Diverse Beam Search): 생성된 결과들이 서로 비슷해지는 것을 방지하고, 의미적으로 다양한 여러 후보 문장을 생성하기 위한 전략이다.7

  • 샘플링 (Sampling): 확률 분포에 따라 다음 토큰을 무작위로 선택하는 방식으로, Top-k 샘플링(가장 확률 높은 k개 중에서 선택)과 Top-p (Nucleus) 샘플링(누적 확률이 p가 될 때까지의 후보 중에서 선택)을 지원하여 보다 창의적이고 예측 불가능한 텍스트 생성을 가능하게 한다.7

  • 어휘 제약 디코딩 (Lexically Constrained Decoding): 생성되는 문장에 특정 단어나 구문이 반드시 포함되도록 제약을 가하는 기능으로, 특정 요구사항을 만족하는 텍스트를 생성할 때 유용하다.7

Fairseq에 탑재된 이러한 최적화 기능들은 단순한 성능 향상을 넘어, 학계 연구자들이 산업계 대규모 연구소에서나 가능했던 규모의 문제에 도전할 수 있도록 하는 중요한 가교 역할을 했다. 2010년대 후반, 산업계는 거대한 컴퓨팅 클러스터를 바탕으로 점점 더 큰 모델을 훈련시키며 성능을 끌어올렸고, 소수의 GPU 서버에 의존하는 학계와의 격차는 벌어지고 있었다. FAIR에서 개발된 Fairseq은 대규모 모델을 효율적으로 훈련시키기 위한 필요성에서 탄생한 FSDP, 혼합 정밀도, 그래디언트 누적과 같은 최첨단 기술들을 내장하고 있었다.5 이러한 기능들을 사용하기 쉬운 오픈소스 툴킷으로 공개함으로써, Fairseq은 대규모 모델링 기술을 민주화했다. 이제 8개의 GPU를 가진 학술 연구실에서도 FSDP(--ddp-backend=fully_sharded)와 혼합 정밀도(--fp16)를 활용하여, 과거에는 훨씬 더 크고 값비싼 클러스터가 필요했던 모델을 훈련할 수 있게 되었다.7 이는 학계가 대규모 모델링 패러다임 전환의 시대에 경쟁력을 유지하고, 산업계가 발표한 거대 모델을 의미 있게 재현, 분석, 확장하며 연구 생태계에 지속적으로 기여할 수 있도록 하는 결정적인 발판이 되었다.

4. Fairseq 기반의 선구적 모델들과 그 응용

Fairseq은 단순한 툴킷을 넘어, 현대 자연어 처리의 지형을 바꾼 수많은 선구적인 모델들이 탄생하고 검증된 핵심적인 연구 플랫폼이었다.

4.1 BART: Denoising Autoencoder를 통한 생성 및 이해 능력의 통합

  • 핵심 아이디어: 텍스트 손상 및 복원 (Denoising Autoencoder): BART(Bidirectional and Auto-Regressive Transformers)는 BERT의 양방향 인코더가 가진 깊은 문맥 이해 능력과 GPT의 자기회귀 디코더가 가진 유창한 텍스트 생성 능력을 하나의 Seq2Seq 모델로 통합한 혁신적인 아키텍처다.24 사전 학습의 핵심 아이디어는 원본 텍스트에 토큰 마스킹, 토큰 삭제, 문장 순서 섞기, 임의의 길이 스팬(span)을 단일 <mask> 토큰으로 대체하는 텍스트 채우기(text infilling) 등 다양한 형태의 노이즈를 가하여 의도적으로 손상시킨 후, 모델이 완전한 원본 텍스트를 복원하도록 학습시키는 것이다.25 이 ‘Denoising’ 과정은 모델이 단순히 표면적인 패턴을 암기하는 것을 넘어, 문법 구조, 의미적 관계, 그리고 전반적인 문맥을 깊이 이해하고 이를 바탕으로 유창한 텍스트를 생성하는 능력을 동시에 학습하도록 강제한다.

  • 아키텍처: 표준 Transformer Seq2Seq 아키텍처를 기반으로 한다. 인코더는 손상된 텍스트 전체를 입력받아 양방향으로 문맥 정보를 인코딩한다. 디코더는 인코더의 최종 은닉 상태에 cross-attention을 수행하면서, 원본 텍스트를 왼쪽에서 오른쪽으로 한 토큰씩 자기회귀적으로 생성한다.25

  • 주요 응용 분야:

  • 텍스트 요약 (Summarization): 특히 원문의 내용을 바탕으로 새로운 문장을 생성하는 추상적 요약(abstractive summarization) 분야에서 당시 최고 수준(SOTA)의 성능을 달성했다. 원문 전체를 인코더에 입력하고, 디코더가 요약문을 생성하도록 미세 조정(fine-tuning)하는 방식으로 활용된다.25

  • 기계 번역 (Machine Translation): 사전 학습된 BART 모델 전체를 번역 모델의 디코더로 활용하거나, 새로운 인코더-디코더 쌍 위에 BART를 쌓아 미세 조정함으로써 번역 성능을 향상시킬 수 있다.25

  • 자연어 이해 (Comprehension Tasks): GLUE, SQuAD와 같은 자연어 이해 벤치마크에서도 RoBERTa와 필적하는 높은 성능을 보인다. 문장 분류와 같은 과제에서는 인코더와 디코더에 동일한 입력 문장을 넣고, 최종 디코더 토큰의 표현 벡터를 분류기의 입력으로 사용한다.25

4.2 RoBERTa: BERT를 넘어선 강력한 최적화

  • 핵심 아이디어: “A Robustly Optimized BERT Pretraining Approach”: RoBERTa는 BERT의 기본 아키텍처를 변경하지 않으면서, 사전 학습 방법론 자체를 철저하게 분석하고 최적화하여 성능을 극대화한 모델이다.7 이 연구는 새로운 모델 구조를 제안하는 것만큼이나 학습 데이터의 규모와 질, 하이퍼파라미터 튜닝, 학습 목표의 설계가 모델 성능에 지대한 영향을 미친다는 점을 명확히 입증한 기념비적인 작업이다.

  • BERT와의 차이점 (최적화 지점):

  1. 더 많은 데이터, 더 긴 학습: BERT보다 훨씬 더 큰 160GB 규모의 텍스트 데이터셋을 사용했으며, 더 큰 배치 사이즈와 더 많은 학습 스텝을 통해 모델을 충분히 학습시켰다.29

  2. NSP(Next Sentence Prediction) 목표 제거: 두 문장이 연속적인지를 예측하는 NSP 학습 목표가 실제 다운스트림 태스크 성능 향상에 거의 도움이 되지 않거나 오히려 해가 된다는 것을 실험적으로 발견하고 이를 과감히 제거했다. 대신 여러 문서에서 추출한 긴 텍스트 블록을 연속적으로 입력하여 모델이 장거리 의존성을 학습하도록 유도했다.29

  3. 동적 마스킹 (Dynamic Masking): BERT는 데이터 전처리 과정에서 한 번 생성된 마스킹 패턴을 전체 학습 동안 고정적으로 사용했다. 반면, RoBERTa는 학습 데이터가 모델에 주입될 때마다 매번 새로운 마스킹 패턴을 동적으로 생성하여, 모델이 동일한 문장을 보더라도 다른 마스크 위치를 예측하게 함으로써 학습의 다양성과 강건함(robustness)을 높였다.29

  • 주요 응용 분야:

  • 자연어 추론 (NLI) 및 문장 쌍 분류: MNLI와 같은 데이터셋에서 두 문장 간의 관계(함의, 모순, 중립)를 분류하는 작업에서 탁월한 성능을 보인다.29

  • 감성 분석 및 텍스트 분류: 단일 문장에 대한 분류 작업에서도 강력한 성능을 발휘한다.

  • 마스크 채우기 (Fill-Mask): 문장 내 <mask> 토큰에 문맥적으로 가장 적합한 단어를 예측하는 데 사용된다.29

4.3 wav2vec 2.0: 음성 인식의 패러다임 전환

  • 핵심 아이디어: Self-Supervised Learning for Speech: 레이블이 없는(unlabeled) 방대한 양의 음성 데이터만으로 강력한 음성 표현(representation)을 학습하는 자기 지도 학습(self-supervised learning) 프레임워크다.34 이는 수천 시간의 전사(transcription) 데이터가 필요했던 기존 음성 인식 모델의 한계를 극복하고, 레이블링된 데이터가 희소한 대부분의 언어에 대한 음성 인식 기술 개발의 가능성을 연 획기적인 접근법이다.

  • 학습 과정:

  1. 잠재 공간 마스킹 (Latent Space Masking): 원시 음성 파형(raw waveform)을 다층 CNN 인코더로 처리하여 연속적인 잠재 표현(latent representation) 시퀀스를 추출한다. 그 후, BERT의 마스크드 언어 모델링처럼 이 잠재 공간에서 특정 시간 스텝 구간을 마스킹한다.34

  2. 양자화 (Quantization): 마스킹되지 않은 잠재 표현은 이산적인 ’음성 단위(speech unit)’를 나타내는 코드북(codebook)을 통해 양자화된 표현으로 변환된다. 이 양자화 모듈은 학습 과정 중에 모델의 다른 부분과 함께 공동으로 최적화된다.36

  3. 대조 학습 (Contrastive Task): Transformer 네트워크는 마스킹된 잠재 표현 시퀀스를 입력받아 문맥 정보를 반영한 최종 표현을 출력한다. 모델의 학습 목표는 이 최종 표현을 사용하여, 마스킹된 위치에 해당하는 올바른 양자화된 ’음성 단위’를 여러 개의 오답(distractors) 후보 중에서 구별해내는 것이다. 즉, 올바른 타겟과의 유사도는 높이고 오답과의 유사도는 낮추도록 학습한다.34

  • 주요 응용 분야:

  • 자동 음성 인식 (ASR): 대규모 비지도 데이터로 사전 학습된 모델을 단 10분 정도의 소량의 레이블링된 데이터로 미세 조정하는 것만으로도 매우 높은 음성 인식 성능을 달성할 수 있음을 보였다.34

  • 저자원 및 다국어 음성 처리: wav2vec 2.0의 아이디어를 다국어 음성 데이터로 확장한 XLSR과 같은 모델들은 여러 언어에 걸쳐 보편적으로 사용될 수 있는 강력한 음성 표현을 학습한다.40

  • 화자 인식 및 언어 식별: 사전 학습된 표현 벡터가 음성 내용뿐만 아니라 화자의 특성과 언어 정보를 풍부하게 담고 있어, 화자 인식이나 언어 식별과 같은 다른 다운스트림 음성 과제에도 효과적으로 활용될 수 있다.42

4.4 XLM-R: 다국어 모델링의 새로운 지평

  • 핵심 아이디어: Unsupervised Cross-lingual Representation Learning at Scale: RoBERTa의 강력한 최적화 학습 방법론을 다국어 환경으로 확장하고, 학습 데이터의 규모를 전례 없는 수준(100개 언어, 2.5TB의 CommonCrawl 데이터)으로 늘려 교차 언어 전이 학습(cross-lingual transfer) 성능을 극대화한 모델이다.43

  • 주요 개선점:

  • 대규모 다국어 데이터: 기존 다국어 모델인 mBERT가 주로 사용했던 Wikipedia 데이터셋보다 훨씬 크고 다양한 주제를 포괄하는 CommonCrawl 웹 데이터를 정제하여 사용했다. 이는 특히 Wikipedia 문서가 부족한 저자원 언어에 대한 데이터 부족 문제를 상당 부분 완화했다.43

  • “다국어의 저주(Curse of Multilinguality)” 극복: 모델의 용량을 고정한 채 지원하는 언어의 수를 늘리면, 각 언어에 할당되는 모델 파라미터 용량이 줄어들어 결국 전체적인 성능이 저하되는 현상을 “다국어의 저주“로 정의했다. XLM-R은 모델의 크기를 데이터의 크기와 함께 확장함으로써 이 문제를 해결할 수 있음을 보였다. 이를 통해 단일 언어에 대해 학습된 모델의 성능을 희생하지 않으면서도 강력한 다국어 모델링이 가능함을 최초로 입증했다.43

  • RoBERTa 학습 전략 적용: 기존의 mBERT나 XLM 모델이 상대적으로 덜 최적화된 상태로 학습되었음을 지적하고, RoBERTa에서 효과가 입증된 학습 전략(NSP 목표 제거, 대규모 배치 사이즈, 긴 학습 등)을 다국어 환경에 그대로 적용하여 성능을 크게 향상시켰다.43

  • 주요 응용 분야:

  • 교차 언어 자연어 추론 (XNLI): 고자원 언어인 영어로만 미세 조정한 모델이 한 번도 본 적 없는 다른 14개 언어의 NLI 과제에서도 높은 성능을 보이는 제로샷(zero-shot) 전이 학습에서 매우 강력한 성능을 보인다.43

  • 교차 언어 개체명 인식 (NER) 및 질의응답 (QA): CoNLL(NER), MLQA(QA)와 같은 다국어 벤치마크에서 기존 모델들을 큰 차이로 능가하며 최고 성능을 달성했다.43

Fairseq을 통해 개발된 이 모델들은 단순히 점진적인 성능 향상을 이룬 것이 아니라, NLP 분야의 근본적인 패러다임 전환을 이끌었다. BART는 잡음 제거라는 단일 목표를 통해 생성과 이해라는 두 가지 과제를 통합하는 새로운 길을 제시했다.25 RoBERTa는 새로운 아키텍처에 대한 집착에서 벗어나, 학습 방법론 자체를 과학적으로 탐구하는 것이 성능 향상의 핵심 동력임을 증명했다.31 wav2vec 2.0은 막대한 양의 레이블링된 데이터에 대한 음성 처리 분야의 의존성을 깨고 자기 지도 학습을 전면에 내세웠다.34 XLM-R은 “하나의 모델이 모든 언어를 통달할 수는 없다“는 기존의 통념을 깨고, 충분한 규모와 데이터가 뒷받침된다면 성능 저하 없는 보편적 다국어 모델이 가능함을 보여주었다.43 이러한 패러다임 전환적 실험들을 수행하기 위해서는 유연성(--user-dir)과 확장성(--fp16, FSDP)을 모두 갖춘 안정적이고 고성능의 ’실험실’이 필요했다. Fairseq은 바로 그 역할을 수행하며, 이 위대한 발견들이 가능하도록 한 필수적인 도구, 즉 입자 가속기나 우주 망원경과 같은 존재였다.

모델핵심 아이디어아키텍처주요 응용 분야관련 Snippets
BARTDenoising Autoencoder (텍스트 손상 및 복원)Transformer Encoder-Decoder텍스트 요약, 번역, 대화 생성24
RoBERTaBERT 사전 학습 방식의 강력한 최적화Transformer Encoder자연어 추론(NLI), 텍스트 분류29
wav2vec 2.0비지도 음성 표현 학습 (잠재 공간 마스킹 + 대조 학습)CNN + Transformer Encoder자동 음성 인식(ASR), 화자/언어 식별34
XLM-R대규모 다국어 비지도 학습 (100개 언어)Transformer Encoder교차 언어 NLI, NER, QA43

5. 실전 활용: 커맨드 라인 인터페이스(CLI) 분석

Fairseq의 핵심적인 워크플로우는 fairseq-preprocess, fairseq-train, fairseq-generate라는 세 가지 주요 커맨드 라인 인터페이스(CLI) 도구를 통해 순차적으로 이루어진다.

5.1 데이터 전처리: fairseq-preprocess

  • 주요 기능: 원시 텍스트 코퍼스를 Fairseq이 학습 시에 효율적으로 사용할 수 있는 이진(binarized) 포맷으로 변환하는 역할을 담당한다. 이 과정에는 텍스트를 정수 인덱스로 매핑하기 위한 어휘 사전(vocabulary) 구축이 포함된다.46 이진화된 데이터는 학습 시에 메모리 맵(memory-mapped, mmap) 파일 형태로 디스크에 저장되어, 실제 학습이 시작될 때 전체 데이터를 RAM에 올리지 않고도 필요한 부분만 빠르게 읽어올 수 있어 I/O 병목 현상을 크게 줄인다.49

  • 핵심 파라미터:

  • --source-lang, --target-lang: 소스 언어와 타겟 언어의 확장자를 지정한다 (예: --source-lang en --target-lang de).49

  • --trainpref, --validpref, --testpref: 각각 학습, 검증, 테스트 데이터 파일의 경로 접두사(prefix)를 지정한다. 예를 들어 --trainpref train은 train.en과 train.de 파일을 찾는다.49

  • --destdir: 전처리된 이진 파일(*.bin, *.idx)과 사전 파일(dict.*.txt)이 저장될 출력 디렉토리를 지정한다.49

  • --workers: 데이터 전처리 작업을 병렬로 수행할 CPU 코어(프로세스)의 수를 지정한다. 대용량 데이터셋을 처리할 때 전처리 속도를 크게 향상시킬 수 있다.49

  • --joined-dictionary: 소스 언어와 타겟 언어가 동일한 사전을 공유하도록 설정한다. 다국어 모델이나 두 언어 간 어휘 공유가 많을 때 유용하다.49

  • --bpe: 사용할 BPE(Byte Pair Encoding) 토크나이저의 종류를 지정한다 (예: sentencepiece, fastbpe, subword_nmt).49

5.2 모델 학습: fairseq-train

  • 주요 기능: fairseq-preprocess를 통해 준비된 이진 데이터를 사용하여 새로운 시퀀스 모델을 학습시킨다. 이 명령어는 다중 GPU 분산 학습, 주기적인 모델 상태 저장(체크포인팅), 학습 과정 로깅 등 복잡한 학습 파이프라인을 관리하는 모든 기능을 포함한다.46

  • 핵심 파라미터:

  • data-dir: fairseq-preprocess로 생성된 이진 데이터가 위치한 디렉토리 경로를 첫 번째 위치 인자(positional argument)로 전달한다.51

  • --arch: 사용할 모델 아키텍처를 지정한다 (예: --arch transformer_iwslt_de_en). 이는 Fairseq에 등록된 아키텍처 이름이어야 한다.23

  • --optimizer, --lr, --lr-scheduler: 각각 최적화 알고리즘(예: adam), 학습률(learning rate), 학습률 스케줄러(예: inverse_sqrt)를 설정한다.23

  • --max-tokens: 단일 배치에 포함될 최대 토큰 수를 제한한다. 문장 길이에 상관없이 이 값을 기준으로 배치를 동적으로 구성하므로, GPU 메모리 사용량을 일관되게 제어하는 데 매우 중요한 파라미터다.23

  • --save-dir: 학습 중 생성되는 모델 체크포인트 파일(checkpoint_last.pt, checkpoint_best.pt 등)이 저장될 디렉토리를 지정한다.23

  • --fp16: 혼합 정밀도 학습을 활성화하여 학습 속도를 높이고 메모리 사용량을 줄인다.23

5.3 텍스트 생성: fairseq-generate

  • 주요 기능: 학습된 모델 체크포인트를 로드하여, 전처리된 테스트 데이터셋에 대한 번역, 요약 등 텍스트 생성 작업을 수행하고 결과를 평가한다.46

  • 핵심 파라미터:

  • data-dir: 평가에 사용할 이진 데이터가 포함된 디렉토리 경로를 위치 인자로 전달한다.52

  • --path: 사용할 학습된 모델 체크포인트 파일의 경로를 지정한다 (.pt 파일).52

  • --beam: 빔 서치(beam search)에서 사용할 빔의 크기를 지정한다. 이 값이 클수록 더 넓은 탐색 공간을 탐색하여 번역 품질이 향상될 수 있지만, 추론 속도는 느려진다.52

  • --lenpen: 길이 페널티(length penalty) 계수를 설정한다. 빔 서치는 짧은 문장을 선호하는 경향이 있는데, 이 값을 1.0보다 크게 설정하면 더 긴 문장을 생성하도록 유도할 수 있다.52

  • --batch-size: 추론 시 사용할 배치 크기를 지정하여, 여러 문장을 한 번에 처리함으로써 효율을 높인다.

Fairseq의 구조화된 다단계 CLI 워크플로우(preprocess -> train -> generate)는 단순한 편의성을 넘어, 연구의 재현성을 증진시키는 중요한 설계적 장치로 작용한다. NLP를 포함한 계산 과학 분야의 주요 난제 중 하나는 재현성 위기이다. 한 연구자의 환경에서 성공적으로 실행된 코드가 다른 환경에서는 미묘한 데이터 처리 방식, 의존성, 혹은 하이퍼파라미터 차이로 인해 실패하는 경우가 비일비재하다. Fairseq의 CLI는 이러한 문제를 체계적으로 해결한다. fairseq-preprocess 49는 모든 데이터 관련 변환과 사전 생성을 담당하여 표준화된 이진 포맷을 출력함으로써 ’데이터 문제’를 분리시킨다.

fairseq-train 23은 이 표준화된 입력을 받아 모든 하이퍼파라미터를 명시적인 커맨드 라인 플래그로 전달받는다. 이로써 ’모델 학습 문제’가 분리된다. 결과적으로, 다른 연구자가 실험을 재현하기 위해 필요한 것은 원본 텍스트, 정확한 preprocess 및 train 명령어(이는 논문이나 README 파일에 보통 포함된다 52), 그리고 동일한 버전의 Fairseq 라이브러리뿐이다. 이는 숨겨진 상태나 암묵적인 데이터 경로, 대화형으로 수정된 파라미터를 가질 수 있는 주피터 노트북 기반의 워크플로우보다 훨씬 더 견고하고 신뢰할 수 있는 실험 재현 방법을 제공한다.

6. 생태계와 미래: Fairseq의 현재와 fairseq2로의 진화

6.1 NLP 툴킷 생태계 내 비교 분석

Fairseq은 NLP 툴킷 생태계, 특히 Hugging Face Transformers와의 비교를 통해 그 특징과 위상이 더욱 명확해진다.

관점FairseqHugging Face Transformers
주요 목적새로운 모델 아키텍처 및 학습 방법론 연구/개발사전 학습된 모델의 쉬운 접근, 미세 조정 및 배포
핵심 철학연구 프레임워크 (Research Framework)응용 플랫폼 (Application Platform)
연구 유연성매우 높음. 모델, 손실, 학습 루프 등 모든 요소 커스터마이징중간. 미세 조정은 용이하나, 근본적인 아키텍처 변경은 복잡
사용 편의성높음. 가파른 학습 곡선, CLI 중심매우 높음. 직관적 API, 풍부한 문서 및 튜토리얼
사전 학습 모델제한적. 주로 논문 재현용 SOTA 모델 제공방대함. 수십만 개의 모델이 Hub를 통해 공유됨
생태계FAIR 중심의 학술 연구 커뮤니티모델, 데이터셋, 데모를 아우르는 산업 표준 생태계

  • 연구 유연성: Fairseq은 모델 아키텍처, 학습 루프, 데이터 처리 파이프라인 등 시스템의 모든 구성요소를 밑바닥부터 제어하고 새로운 아이디어를 실험하는 데 최적화된 연구 프레임워크다.2 반면, Hugging Face Transformers는 방대한 사전 학습 모델 허브(Hub)를 기반으로, 기존의 검증된 모델을 쉽게 다운로드하여 특정 다운스트림 태스크에 맞게 미세 조정하고 배포하는 데 초점을 맞춘 응용 플랫폼에 가깝다.58 Fairseq이 ’무엇이든 만들 수 있는 레고 블록 세트’라면, Hugging Face는 ‘거의 완성된 모델 키트에 약간의 커스터마이징을 더하는’ 방식에 비유할 수 있다.

  • 사용 편의성: Hugging Face는 직관적인 API, 방대한 양의 문서와 튜토리얼, 그리고 거대한 사용자 커뮤니티 덕분에 NLP 입문자부터 전문가까지 넓은 사용자층을 확보하며 진입 장벽을 크게 낮췄다.59 이에 반해 Fairseq은 그 강력함만큼이나 학습 곡선이 가파르며, CLI 중심의 엄격한 워크플로우는 초보자에게 복잡하고 어렵게 느껴질 수 있다.3

  • 커뮤니티 및 생태계: Hugging Face는 모델, 데이터셋, 그리고 인터랙티브 데모(Spaces)를 모두 아우르는 거대한 생태계를 구축하여 사실상의 산업 표준으로 자리 잡았다.59 Fairseq은 FAIR이라는 세계 최고 수준의 연구 그룹을 중심으로 최신 연구를 구현하고 그 코드를 공유하는 데 중점을 둔, 보다 학술적이고 연구 지향적인 커뮤니티를 형성했다.2

6.2 Fairseq의 역사적 기여와 평가

  • 최신 연구의 구현체 및 전파자: Fairseq의 가장 큰 역사적 의의는 Transformer 아키텍처 등장 이후 NLP 연구의 황금기를 이끈 수많은 SOTA 연구(BART, RoBERTa, wav2vec 2.0, XLM-R 등)가 탄생하고 검증된 ’산실’이었다는 점이다. FAIR은 논문을 발표함과 동시에 Fairseq 기반의 공식 코드를 함께 공개하는 문화를 정착시켰다. 이는 전 세계 연구자들이 복잡한 모델의 구현 세부사항을 추측할 필요 없이 즉시 결과를 재현하고, 이를 바탕으로 신속하게 후속 연구를 수행할 수 있는 환경을 조성했다.7

  • 대규모 모델 학습의 대중화: 혼합 정밀도 학습, 효율적인 분산 학습, 그리고 FSDP와 같은 고성능 최적화 기술을 연구자들이 사용하기 쉬운 형태로 제공함으로써, 막대한 컴퓨팅 자원을 보유한 소수의 산업계 연구소뿐만 아니라 상대적으로 자원이 부족한 학계에서도 대규모 모델 연구를 수행할 수 있는 길을 열었다. 이는 연구의 민주화에 크게 기여했다.

6.3 새로운 시작: fairseq2

  • 개발 동기: 기존 Fairseq의 구조적 한계: Fairseq 원본 프로젝트는 수년간 수많은 기능이 추가되면서 코드가 비대해지고 내부 구조가 복잡해지는 ‘모놀리식(monolithic)’ 프레임워크의 한계를 드러냈다.61 연구자들은 자신만의 독자적인 코드를 통합하기 위해 라이브러리 전체를 fork하거나 branch하는 경우가 많았고, 이는 코드의 유지보수와 재사용을 어렵게 만드는 요인이 되었다.

  • 설계 철학의 변화: 프레임워크에서 라이브러리로: fairseq2는 이러한 구조적, 기술적 문제를 해결하기 위해 처음부터 완전히 다시 작성된 ‘리부트(reboot)’ 프로젝트다.61 핵심적인 변화는 모든 것을 포함하는 거대한 프레임워크에서 벗어나, 연구자들이 자신의 프로젝트 코드베이스에 필요한 부분만 가져와 쉽게 통합하여 사용할 수 있는

모듈식이고 덜 침해적인(less intrusive) 라이브러리로의 전환이다.61

구분Fairseq (Original)fairseq2
패러다임모놀리식 프레임워크 (Monolithic Framework)모듈식 라이브러리 (Modular Library)
설계 목표특정 연구(주로 FAIR)를 위한 통합 실험 환경범용적이고 재사용 가능한 시퀀스 모델링 컴포넌트 제공
확장 방식--user-dir 또는 코드 fork/branchsetuptools 확장 메커니즘, 깔끔한 API
코드베이스수년간 누적된 레거시 코드 포함, 복잡성 증가처음부터 재작성 (Start-from-scratch)
주요 사용자BART, RoBERTa, wav2vec 2.0 등 과거 SOTA 모델LLaMA, NLLB, Seamless 등 현재 Meta AI 프로젝트
개발 상태유지보수 모드 (Legacy / Maintenance Mode)활발히 개발 중 (Active Development)

  • 주요 개선점:

  • 클린 API 및 모듈성: 깔끔하고 잘 정의된 API를 제공하여 사용자 코드와 라이브러리 코드를 명확히 분리한다.61

  • 최신 PyTorch 생태계 활용: torch.compile, PyTorch 네이티브 FSDP 등 최신 PyTorch 생태계의 기능을 적극적으로 활용하여 성능과 효율성을 높인다.61

  • 고성능 데이터 파이프라인: C++로 작성된 스트리밍 기반의 고성능 데이터 파이프라인 API를 제공하여 데이터 처리 속도를 개선했다.61

  • 진정한 확장성: setuptools 확장 메커니즘을 통해 라이브러리 코드를 직접 수정하지 않고도 새로운 모델, 옵티마이저 등을 외부에서 플러그인 형태로 쉽게 등록하고 사용할 수 있다.61

  • 관계성 및 현황: fairseq2는 Fairseq의 공식적인 후속 프로젝트다.62 원본 Fairseq GitHub 저장소는 2023년 5월 이후 주요 기능 업데이트가 뜸해지며 사실상 유지보수 모드로 전환되었고, 모든 새로운 개발 노력은 fairseq2에 집중되고 있다.7 현재 LLaMA, NLLB-200, Seamless Communication 등 Meta의 최신 주력 AI 프로젝트들은 모두 fairseq2를 기반으로 개발되고 있다.61

Fairseq에서 fairseq2로의 전환은 단순한 소프트웨어 업그레이드를 넘어, 머신러닝 엔지니어링 분야 전체의 성숙을 반영하는 현상이다. 초기 딥러닝 연구의 목표는 ’빠르게 움직이고 새로운 것을 만드는 것’이었고, 이를 위해 모든 기능이 통합된 모놀리식 프레임워크(Fairseq)는 매우 효과적이었다.2 그러나 분야가 성숙함에 따라, 연구 코드는 더 크고 복잡한 프로덕션 및 연구 파이프라인에 깔끔하게 통합될 수 있는 안정적이고 모듈화된, 라이브러리 우선(library-first) 도구에 대한 수요가 증가했다. 원본 Fairseq이 겪었던 문제들—커스터마이징을 위한 fork의 필요성, 모놀리식 구조, 기술 부채—는 성숙한 소프트웨어 공학의 요구를 충족시키지 못하는 연구 코드베이스의 전형적인 증상이었다.61 fairseq2의 설계 철학—“연구자들이 독립적으로 자신의 프로젝트 코드베이스를 소유할 수 있도록 하는, 확장 가능하고 훨씬 덜 침해적인 아키텍처” 61—는 이러한 문제에 대한 직접적인 해결책이다. 이는 ML 연구 인프라가 이제 다른 핵심 소프트웨어 구성 요소와 마찬가지로 모듈성, 테스트 용이성, 유지보수성에 대한 높은 기준을 따라야 한다는, 더 넓은 산업적 추세를 반영한다.

7. 결론: Fairseq가 남긴 유산과 시퀀스 모델링의 미래

Fairseq은 단순한 소프트웨어 툴킷을 넘어, 2010년대 후반부터 시작된 자연어 처리 연구의 황금기를 이끌고 정의한 핵심적인 연구 인프라였다. Transformer 이후 등장한 수많은 최첨단 모델들의 ‘살아있는’ 공식 구현체로서, 전 세계 연구의 재현성을 보장하고 아이디어의 확산 속도를 비약적으로 높였다. 또한, 혼합 정밀도 학습이나 완전 분할 데이터 병렬 처리(FSDP)와 같은 고성능 컴퓨팅 기술을 민주화함으로써, 학계와 산업계 연구의 격차를 줄이고 더 많은 연구자들이 대규모 모델링의 영역에 참여할 수 있도록 하는 데 결정적으로 기여했다.

Fairseq의 성공과 그 과정에서 드러난 구조적 한계는 후속 툴킷인 fairseq2의 탄생으로 자연스럽게 이어졌다. 모놀리식 프레임워크에서 모듈식 라이브러리로의 진화는 연구 코드가 성숙함에 따라 모듈성, 유지보수성, 그리고 다른 시스템과의 통합을 위한 재사용성이 얼마나 중요한지를 보여주는 명백한 교훈이다.

결론적으로, Fairseq과 fairseq2가 보여준 진화의 과정은 미래의 AI 연구 툴킷이 나아가야 할 방향을 제시한다. 미래의 도구들은 단순히 강력한 성능과 최신 알고리즘 구현을 넘어, 더 넓은 소프트웨어 생태계와 조화롭게 통합될 수 있는 유연하고 견고한 소프트웨어 공학적 원칙을 기반으로 설계되어야 할 것이다. Fairseq이 남긴 가장 큰 유산은 바로 이러한 진화의 필요성을 몸소 증명하고 그 길을 열었다는 데 있다.

8. 참고 자료

  1. [PDF] fairseq: A Fast, Extensible Toolkit for Sequence Modeling | Semantic Scholar, https://www.semanticscholar.org/paper/fairseq%3A-A-Fast%2C-Extensible-Toolkit-for-Sequence-Ott-Edunov/faadd7d081c8d67e8c2567e8a5579e46cd6b2280
  2. fairseq: A Fast, Extensible Toolkit for Sequence Modeling - ACL Anthology, https://aclanthology.org/N19-4009.pdf
  3. Meta FAIRseq | AI and Machine Learning - Howdy, https://www.howdy.com/glossary/meta-fairseq
  4. (PDF) fairseq: A Fast, Extensible Toolkit for Sequence Modeling - ResearchGate, https://www.researchgate.net/publication/332168699_fairseq_A_Fast_Extensible_Toolkit_for_Sequence_Modeling
  5. FAIRSEQ: A Fast, Extensible Toolkit for Sequence Modeling - Meta Research - Facebook, https://research.facebook.com/publications/fairseq-a-fast-extensible-toolkit-for-sequence-modeling/
  6. fairseq: A Fast, Extensible Toolkit for Sequence Modeling - ACL Anthology, https://aclanthology.org/N19-4009/
  7. facebookresearch/fairseq: Facebook AI Research … - GitHub, https://github.com/facebookresearch/fairseq
  8. Fairseq download | SourceForge.net, https://sourceforge.net/projects/fairseq.mirror/
  9. Review — FAIRSEQ: A Fast, Extensible Toolkit for Sequence Modeling | by Sik-Ho Tsang, https://sh-tsang.medium.com/review-fairseq-a-fast-extensible-toolkit-for-sequence-modeling-5cc6aa323f1a
  10. Overview — fairseq 0.12.2 documentation, https://fairseq.readthedocs.io/en/latest/overview.html
  11. fairseq/docs/models.rst at main - GitHub, https://github.com/pytorch/fairseq/blob/main/docs/models.rst
  12. Models — fairseq 0.12.2 documentation, https://fairseq.readthedocs.io/en/latest/models.html
  13. Models — fairseq 0.9.0 documentation, https://fairseq.readthedocs.io/en/v0.9.0/models.html
  14. Criterions — fairseq 0.12.2 documentation - fairseq documentation, https://fairseq.readthedocs.io/en/latest/criterions.html
  15. Tasks — fairseq 0.12.2 documentation, https://fairseq.readthedocs.io/en/latest/tasks.html
  16. Can I build®ister the criterion and task outside fairseq document · Issue #2975 - GitHub, https://github.com/pytorch/fairseq/issues/2975
  17. FAIRSEQ S2T: Fast Speech-to-Text Modeling with FAIRSEQ - Meta Research - Facebook, https://research.facebook.com/publications/fairseq-s2t-fast-speech-to-text-modeling-with-fairseq/
  18. [2010.05171] fairseq S2T: Fast Speech-to-Text Modeling with fairseq - arXiv, https://arxiv.org/abs/2010.05171
  19. Fairseq S2T: Fast Speech-to-Text Modeling with Fairseq - ACL Anthology, https://aclanthology.org/2020.aacl-demo.6.pdf
  20. Jwoo5/fairseq-signals: A collection of deep learning models for ECG data processing based on fairseq framework - GitHub, https://github.com/Jwoo5/fairseq-signals
  21. Fairseq - AI at Meta, https://ai.meta.com/tools/fairseq/
  22. fairseq - PyPI, https://pypi.org/project/fairseq/
  23. Command-line Tools — fairseq 0.7.2 documentation, https://fairseq.readthedocs.io/en/v0.7.2/command_line_tools.html
  24. BART - Hugging Face, https://huggingface.co/docs/transformers/model_doc/bart
  25. BART: Denoising Sequence-to-Sequence Pre … - ACL Anthology, https://aclanthology.org/2020.acl-main.703.pdf
  26. examples/bart/README.md · main · Torge Berckmann / Fairseq - GitLab, https://git.opendfki.de/torge.berckmann/fairseq/-/blob/main/examples/bart/README.md
  27. fairseq/examples/bart/README.md · sriramelango/Social_Classification_Public at main, https://huggingface.co/spaces/sriramelango/Social_Classification_Public/blame/main/fairseq/examples/bart/README.md
  28. Abstractive Summarization of Multi- Documents using Fairseq - NORMA@NCI Library, https://norma.ncirl.ie/7266/1/akashsenthilkumar.pdf
  29. examples/roberta · ffffe04ea12679bdc12fbbafdc6406dd3e6c9943 · Torge Berckmann / Fairseq - GitLab, https://git.opendfki.de/torge.berckmann/fairseq/-/tree/ffffe04ea12679bdc12fbbafdc6406dd3e6c9943/examples/roberta
  30. RoBERTa – PyTorch, https://pytorch.org/hub/pytorch_fairseq_roberta/
  31. Introducing RoBERTa Base Model: A Comprehensive Overview | by Novita AI - Medium, https://medium.com/@marketing_novita.ai/introducing-roberta-base-model-a-comprehensive-overview-330338afa082
  32. Finetuning RoBERTa on a custom Entailment data - PyTorch Forums, https://discuss.pytorch.org/t/finetuning-roberta-on-a-custom-entailment-data/82498
  33. RoBERTa - 파이토치 한국 사용자 모임, https://pytorch.kr/hub/pytorch_fairseq_roberta/
  34. wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations, https://research.facebook.com/publications/wav2vec-2-0-a-framework-for-self-supervised-learning-of-speech-representations/
  35. wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations, https://www.researchgate.net/publication/342377803_wav2vec_20_A_Framework_for_Self-Supervised_Learning_of_Speech_Representations
  36. wav2vec 2.0: A Framework for Self-Supervised Learning of Speech …, https://arxiv.org/pdf/2006.11477
  37. Wav2Vec 2.0: Self-Supervised Learning of Speech Representations - NeuroSYS, https://neurosys.com/blog/wav2vec-2-0-framework
  38. wav2vec 2.0 for PyTorch - NVIDIA NGC, https://catalog.ngc.nvidia.com/orgs/nvidia/teams/dle/resources/wav2vec2_pyt
  39. facebook/wav2vec2-base-960h - Hugging Face, https://huggingface.co/facebook/wav2vec2-base-960h
  40. fairseq/examples/wav2vec/unsupervised/README.md at main - GitHub, https://github.com/facebookresearch/fairseq/blob/main/examples/wav2vec/unsupervised/README.md
  41. fairseq/examples/wav2vec/README.md · OFA-Sys/OFA-Generic_Interface at main, https://huggingface.co/spaces/OFA-Sys/OFA-Generic_Interface/blob/main/fairseq/examples/wav2vec/README.md
  42. arXiv:2012.06185v2 [cs.SD] 14 Jan 2021, https://arxiv.org/pdf/2012.06185
  43. [1911.02116] Unsupervised Cross-lingual Representation Learning …, https://ar5iv.labs.arxiv.org/html/1911.02116
  44. XLM-R, https://anwarvic.github.io/cross-lingual-lm/XLM-R
  45. Unsupervised Cross-lingual Representation Learning at Scale - ACL Anthology, https://aclanthology.org/2020.acl-main.747/
  46. wengong-jin/fairseq-py: Facebook AI Research Sequence-to-Sequence Toolkit written in Python. - GitHub, https://github.com/wengong-jin/fairseq-py
  47. Command-line Tools — fairseq 0.12.2 documentation, https://fairseq.readthedocs.io/en/latest/command_line_tools.html
  48. de9uch1/fairseq-tutorial - GitHub, https://github.com/de9uch1/fairseq-tutorial
  49. Fairseq 101 - train a model - Mateusz Klimaszewski, https://mklimasz.github.io/blog/2023/fariseq-101-train-a-model/
  50. docs/command_line_tools.rst - Torge Berckmann - GitLab, https://git.opendfki.de/torge.berckmann/fairseq/-/blob/3fdb0368a838b4181f4c6937530fda47e55bf90c/docs/command_line_tools.rst
  51. NMT training using fairseq - Google Groups, https://groups.google.com/g/fairseq-users/c/QKPonaA3D4A
  52. examples/translation … - GitLab, https://git.opendfki.de/torge.berckmann/fairseq/-/tree/ffffe04ea12679bdc12fbbafdc6406dd3e6c9943/examples/translation
  53. How to run Tutorial: Simple LSTM on fairseq - Stack Overflow, https://stackoverflow.com/questions/64994231/how-to-run-tutorial-simple-lstm-on-fairseq
  54. Fairseq Custom Model Training Error: Issues Running fairseq-train with Simple LSTM Architecture - Stack Overflow, https://stackoverflow.com/questions/77117619/fairseq-custom-model-training-error-issues-running-fairseq-train-with-simple-ls
  55. fairseq/examples/translation/README.md · sriramelango/Social_Classification_Public at main - Hugging Face, https://huggingface.co/spaces/sriramelango/Social_Classification_Public/blob/main/fairseq/examples/translation/README.md
  56. What are the return values from fairseq WMT19 machine translation model’s .generate() function? - Stack Overflow, https://stackoverflow.com/questions/76359809/what-are-the-return-values-from-fairseq-wmt19-machine-translation-models-gener
  57. Best Hugging Face Alternatives for Transformers - BytePlus, https://www.byteplus.com/en/topic/418176
  58. [D] [P] allennlp vs fairseq vs openNMT vs huggingface vs torchtext vs pytorch-NLP - Reddit, https://www.reddit.com/r/MachineLearning/comments/gj51j3/d_p_allennlp_vs_fairseq_vs_opennmt_vs_huggingface/
  59. [D] HuggingFace considered harmful to the community. /rant : r/MachineLearning - Reddit, https://www.reddit.com/r/MachineLearning/comments/113m1ly/d_huggingface_considered_harmful_to_the_community/
  60. Neural Machine Translation with Hugging Face’s Transformers Library - Onsights.io, https://anno-ai.medium.com/neural-machine-translation-with-hugging-faces-transformers-library-eb3bcce93298
  61. facebookresearch/fairseq2: FAIR Sequence Modeling Toolkit 2 - GitHub, https://github.com/facebookresearch/fairseq2
  62. What are the differences between ‘fairseq’ and ‘fairseq2’? - Stack Overflow, https://stackoverflow.com/questions/77757228/what-are-the-differences-between-fairseq-and-fairseq2
  63. Home · facebookresearch/fairseq2 Wiki - GitHub, https://github.com/facebookresearch/fairseq2/wiki
  64. Activity · facebookresearch/fairseq2 - GitHub, https://github.com/facebookresearch/fairseq2/activity